Do ảnh hưởng của cha, từ nhỏ, ông đã được giáo huấn về lòng yêu nước. Học xong trường làng, ông thi vào Trường Collège de Can Tho (nay là trường THPT Châu Văn Liêm) và là một trong hai học sinh đậu cao được cấp học bổng (người còn lại là Trần Văn Thạnh). Tuy nhiên, do thường xuyên tham gia các phong trào bãi khóa và đấu tranh với hiệu trưởng Tây nên ông sớm bị đuổi học.

Về quê, ông tiếp xúc nhiều lần với Châu Văn Liêm, một thầy giáo tiểu học và cũng là một nhà cách mạng, cung cấp cho ông nhiều sách báo tiến bộ, và giới thiệu ông gia nhập nhóm "đồng tâm, đồng chí" tại Chợ Mới.